增量学习是一种范式,可以通过流数据大规模构建模型构建和更新。对于端到端的自动语音识别(ASR)任务,缺乏人类注释的标签,以及需要保留模型建设政策的隐私政策,这使其成为艰巨的挑战。受这些挑战的激励,在本文中,我们使用基于云的框架为生产系统展示了从隐私保存自动语音识别(ILASR)的增量学习中的见解。我们的意思是,通过保留隐私性,对没有人类注释的短暂数据使用。该系统是用于增量/持续学习的生产LevelAsASR模型的一步,该模型提供了接近实时测试床,以在云中进行端到端ASR实验,同时遵守保留隐私的政策。我们表明,即使在没有人类注释的标签的情况下,拟议的系统也可以在六个月的新时间内显着改善生产模型(3%),而在增量学习中,较弱的监督和大批量大小。在新时期,这种改进比测试集的新单词和短语相比为20%。我们在ASR的同时进一步探讨了拥有有效的教师模型和使用大批量大小的实用性的同时,以保护隐私的增量方式展示了模型构建的有效性。
translated by 谷歌翻译